Ytterbi được nhà hóa học Thụy Điển Jean Charles Galissard de Marignac phát hiện năm 1878. Marignac đã tìm thấy một thành phần mới trong đất sau đó được gọi là erbia và đặt tên nó là ytterbia (theo tên Ytterby, một ngôi làng ở Thụy Điển nơi ông tìm thấy thành phần mới này). Ông nghi ngờ rằng ytterbia là một hỗn hợp của nguyên tố mới mà ông gọi là ytterbi.[3]

Năm 1907, nhà hóa học người Pháp Georges Urbain tách ytterbia của Marignac thành hai thành phần: neoytterbia và lutecia. Neoytterbia có thể sau này được gọi là nguyên tố ytterbi, và lutecia có thể là nguyên tố luteti. Cùng lúc đó, Auer von Welsbach đã tách hoàn toàn các nguyên tố này từ ytterbia, nhưng ông gọi chúng là aldebarani và cassiopei.[3]

Các tính chất vật lý và hóa học của ytterbi đã không được xác định mãi cho đến năm 1953 khi ytterbi gần như tinh khiết đầu tiên được sản xuất.[3] Giá ytterbi tương đối ổn định khoảng 1.000 USD/kg từ khoảng năm 1953 và 1998.[6]